hive文件存储格式包括以下几类： 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE(0.11以后出现) 其中TEXTFILE为默认格式，建表时不指定 ...

一、SecondaryNameNode概念： 光从字面上来理解，很容易让一些初学者先入为主：SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其实不是。ss ...

一、引言： 　　最近发现datanode老是无缘无故的进程挂掉，从程序的日志没有stop迹象，只能从/var/log/messages入手，发现如下信息： 　　从namenode的页面也可以看 ...

一、集群环境： Hostname IP Hadoop版本 Hadoop ...

一、引言： 　　在一次和同事的讨论中遇到一个这样的问题：有一个hadoop集群，在hbase的put数据出现瓶颈，他们想要把datanode上的磁盘做成RAID 0(比如10块磁盘做成一个RAID ...

一、引言： 　　快下班的时候我开发同事问能不能将hive中drop掉的数据恢复过来，我记得是有开回收站的，当时我回答说可以恢复的。 二、恢复过程： 　　在之前我有对hadoop的回收站有过了解， ...

一、问题： 在使用Hive0.11进行select查询的时候报： 查看jobtracker页面中该job的信息发现有： 其中Caused by: java.lang. ...

一、回收站简介： 在HDFS里，删除文件时，不会真正的删除，其实是放入回收站/trash，回收站里的文件可以快速恢复。 可以设置一个时间阀值，当回收站里文件的存放时间超过这个阀值或 ...

一、Hive简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其 ...

使用root用户启动hadoop的时候报错： 解决方法：修改本机ssh_config文件 据说GSSAPIAuthentication的作用：是否允许使用基于GSSAP ...